Huyện Sa Thầy được thành lập theo quyết định số 254-CP của Hội đồng Chính phủ ngày 10 tháng 10 năm 1978 trên cơ sở tách 4 xã: Đắk Xú, Mô Rai, Pờ Y, Rơ Kơi thuộc huyện Đắk Tô, xã Ya Ly thuộc thị xã Kon Tum (nay là thành phố Kon Tum) và thuộc tỉnh Gia Lai - Kon Tum.

Khi mới thành lập, huyện Sa Thầy có 5 xã: Đắk Xú, Mô Rai, Pờ Y, Rơ Kơi, Ya Ly.

Ngày 2 tháng 3 năm 1979, thành lập 3 xã: Sa Bình, Sa Nghĩa, Sa Sơn tại vùng kinh tế mới K'Leng.

Ngày 17 tháng 8 năm 1981, chia xã Rờ Kơi thành hai xã lấy tên là xã Rờ Kơi và xã Sa Loong; chia xã Ya Ly thành hai xã lấy tên là xã Ya Ly và xã Ya Xiêr; thành lập một xã mới lấy tên là xã Sa Nhơn.

Theo quyết định số 543-TCCP ngày 6 tháng 12 năm 1990, thành lập thị trấn huyện lỵ Sa Thầy trên cơ sở tách ra từ xã Sa Sơn.

Ngày 12 tháng 8 năm 1991, khi tỉnh Gia Lai - Kon Tum tách ra thành hai tỉnh Gia Lai và Kon Tum thì huyện Sa Thầy thuộc tỉnh Kon Tum.

Ngày 15 tháng 10 năm 1991, 3 xã: Đắk Xú, Pờ Y, Sa Loong chuyển sang trực thuộc huyện Ngọc Hồi.

Ngày 10 tháng 7 năm 2003, thành lập xã Ya Tăng trên cơ sở 18.213 ha diện tích tự nhiên và 3.162 nhân khẩu của xã Ya Ly.

Ngày 22 tháng 3 năm 2006, thành lập xã Hơ Moong trên cơ sở 6.523 ha diện tích tự nhiên và 3.532 nhân khẩu của xã Sa Nhơn.

Ngày 20 tháng 12 năm 2013, thành lập 3 xã: la Dom, la Đal và la Tơi trên cơ sở điều chỉnh một phần diện tích và dân số của xã Mô Rai.

Cuối năm 2014, huyện Sa Thầy có thị trấn Sa Thầy và 13 xã: Hơ Moong, Ia Đal, Ia Dom, Ia Tơi, Mô Rai, Rơ Kơi, Sa Bình, Sa Nghĩa, Sa Nhơn, Sa Sơn, Ya Ly, Ya Tăng, Ya Xiêr.

Ngày 11 tháng 3 năm 2015, tách 3 xã Ia Dom, Ia Đal, Ia Tơi để thành lập huyện Ia H'Drai.[1]

Huyện Sa Thầy có 1 thị trấn và 10 xã như hiện nay.